Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration
人类ALMANAC：动作级心智模型标注的协作数据集
🧭 Agent协作心智模型评估数据集
Northeastern University · University of Notre Dame · Adobe · Microsoft · University of Waterloo
构建ALMANAC数据集，以动作级心智模型标注评估LLM模拟人类协作行为的能力
📌 工作参考价值（4 点）
- 在电商多Agent客服/导购系统中，可借鉴Map Task范式收集协作对话，并显式标注自我意图、感知对方意图、团队目标，用于训练Agent的协作对齐。
- 动作级的心智模型标注方法可迁移到生成式推荐对话评估，衡量推荐Agent对用户实时意图和长期兴趣的推理能力。
- 利用ALMANAC或类似数据对LLM进行微调，提升Agent在多轮协作中主动推测伙伴意图、调整策略的能力，避免机械式回复。
- 工程AB测试可参考该数据集构建评估指标（如心智模型预测准确率），量化Agent的协作智能。